Inferensi statistik bertanya: "Diberikan data ini, apa parameter tersembunyi yang paling mungkin?" Slide ini menghubungkan pertanyaan tersebut dengan Optimisasi Konveks. Kami mengubah konsep kemungkinan probabilitas menjadi program terstruktur, menunjukkan bahwa dalam kondisi log-konkaf, mencari estimasi terbaik setara dengan menyelesaikan masalah optimisasi konveks.
Kerangka Kemungkinan
The fungsi kemungkinan adalah distribusi probabilitas $p_x(y)$ yang dipandang sebagai fungsi dari parameter $x$ untuk sampel teramati tetap $y$. Untuk memperkirakan $x$, kita menggunakan estimasi Maximum Likelihood (ML): memilih nilai yang membuat data yang diamati paling mungkin terjadi.
$$\hat{x}_{ml} = \text{argmax}_x p_x(y) = \text{argmax}_x l(x)$$
Untuk efisiensi komputasi, kita menggunakan fungsi log-kemungkinan, $l(x) = \log p_x(y)$. Karena logaritma adalah fungsi yang monoton meningkat, ia mempertahankan lokasi maksimum sambil mengubah hasil kali (dari pengamatan independen) menjadi jumlah yang mudah dikelola.
Program Optimisasi MLE (7.1)
Kami merumuskan perkiraan sebagai program matematis:
Program ini adalah masalah optimisasi konveks jika:
- Fungsi log-kemungkinan $l$ adalah konkaf untuk setiap nilai $y$.
- Himpunan layak $C$ (informasi awal) dideskripsikan oleh kendala kesamaan linier dan kendala ketidaksamaan konveks.
Mengintegrasikan Kendala dan Informasi Awal
Estimasi ML membutuhkan definisi ulang $p_x(y)$ menjadi nol untuk $x \notin C$ agar secara eksplisit menerapkan kendala fisik atau informasi awal. Dalam ruang optimisasi, ini berarti fungsi log-kemungkinan diberi nilai $-\infty$ untuk parameter $x$ yang melanggar kendala ini, secara efektif menciptakan rintangan tak terlewati bagi optimizer.